|
23.07.2026
09:00 Uhr
|
Mit offenen Treibern für Nvidia-GPUs und Google-TPUs formieren sich neue Standards für die GPU-Orchestrierung in Kubernetes. Ein Beispielstac.

Sprachmodelle per API einzukaufen ist bequem. Wer jedoch Trainingsdaten und geistiges Eigentum im Haus halten muss oder die Tokenkosten hoher Inferenzvolumina scheut, betreibt seine GPUs selbst. Das reicht vom Feintunen von Modellen in der Pharmabranche, im Finanzwesen und in der Industrie bis zur selbst gehosteten Inferenz mit Open-Weight-Modellen. Läuft der Cluster auf eigener Hardware, entscheidet das Scheduling über die Rechnung. Am deutlichsten zeigt sich das auf geteilten Plattformen, auf denen mehrere Teams um dieselben Karten konkurrieren, etwa in größeren Unternehmen, Forschungsverbünden oder Behörden.
Eine einzelne H100 kostet im Einkauf 25.000 bis 40.000 Euro. Im üblicherweise in US-Dollar quotierten Mietmarkt liegt der On-Demand-Preis (Stand Frühjahr 2026) meist zwischen 2 und 4 US-Dollar pro GPU-Stunde, in der Spitze bei 7 bis 9 US-Dollar und vereinzelt darüber. Solche Karten sind in geteilten Produktionsclustern oft nur zu einem Bruchteil ausgelastet, auch über mehrere Clustergenerationen hinweg. Die Mehrheit der Tasks fordert weniger als eine ganze GPU an – womit sich die klassische Herangehensweise von Kubernetes schwertat.
Für den Kubernetes-Scheduler war eine GPU lange nur die erweiterte Ressource nvidia.com/gpu: 1 – eine Zahl ohne Angabe zu Speicher, Architektur oder Anbindung. In homogenen Clustern genügte das. Sobald aber unterschiedliche Karten und konkurrierende Teams zusammenkommen, wird aus der fehlenden Beschreibung verbranntes Budget.